基于变压器的大型模型在各种自然语言处理和计算机视觉任务中表现出卓越的性能。但是，这些模型包含大量参数，这些参数将其部署限制为现实世界应用程序。为了减少模型大小，研究人员根据权重的重要性得分修剪这些模型。但是，这种分数通常在训练过程中估计在小批次上，这会由于迷你批次采样和复杂的训练动力学而产生巨大的可变性/不确定性。结果，由于这种不确定性，可以通过常用的修剪方法来修剪一些关键权重，从而使训练不稳定并受到概括。为了解决这个问题，我们提出了Platon，该问题通过对重要性估计的上限（UCB）捕获了重要性得分的不确定性。特别是，对于较低的分数但不确定性较高的权重，柏拉图倾向于保留它们并探索其能力。我们对基于自然语言的理解，问答和图像分类的几种基于变压器的模型进行了广泛的实验，以验证柏拉图的有效性。结果表明，柏拉图在不同的稀疏度水平下显着改善。我们的代码可在https://github.com/qingruzhang/platon上公开获取。

流行病学中的数学模型是一种不可或缺的工具，可以确定传染病的动态和重要特征。除了他们的科学价值之外，这些模型通常用于在正在进行的爆发期间提供政治决策和干预措施。然而，通过将复杂模型连接到真实数据来可靠地推断正在进行的爆发的动态仍然很难，并且需要费力的手动参数拟合或昂贵的优化方法，这些方法必须从划痕中重复给定模型的每个应用。在这项工作中，我们用专门的神经网络的流行病学建模的新组合来解决这个问题。我们的方法需要两个计算阶段：在初始训练阶段中，描述该流行病的数学模型被用作神经网络的教练，该主管是关于全球可能疾病动态的全球知识。在随后的推理阶段，训练有素的神经网络处理实际爆发的观察到的数据，并且揭示了模型的参数，以便实际地再现观察到的动态并可可靠地预测未来的进展。通过其灵活的框架，我们的仿真方法适用于各种流行病学模型。此外，由于我们的方法是完全贝叶斯的，它旨在纳入所有可用的关于合理参数值的先前知识，并返回这些参数上的完整关节后部分布。我们的方法在德国的早期Covid-19爆发阶段的应用表明，我们能够获得可靠的概率估计对重要疾病特征，例如生成时间，未检测到的感染部分，症状发作前的传播可能性，以及报告延迟非常适中的现实观测。

Transformer models have achieved superior performance in various natural language processing tasks. However, the quadratic computational cost of the attention mechanism limits its practicality for long sequences. There are existing attention variants that improve the computational efficiency, but they have limited ability to effectively compute global information. In parallel to Transformer models, state space models (SSMs) are tailored for long sequences, but they are not flexible enough to capture complicated local information. We propose SPADE, short for $\underline{\textbf{S}}$tate s$\underline{\textbf{P}}$ace $\underline{\textbf{A}}$ugmente$\underline{\textbf{D}}$ Transform$\underline{\textbf{E}}$r. Specifically, we augment a SSM into the bottom layer of SPADE, and we employ efficient local attention methods for the other layers. The SSM augments global information, which complements the lack of long-range dependency issue in local attention methods. Experimental results on the Long Range Arena benchmark and language modeling tasks demonstrate the effectiveness of the proposed method. To further demonstrate the scalability of SPADE, we pre-train large encoder-decoder models and present fine-tuning results on natural language understanding and natural language generation tasks.

电子商务查询通常简短而模棱两可。因此，查询理解通常使用查询重写来消除用户输入查询。在使用电子商务搜索工具时，用户倾向于在购买之前输入多个搜索，我们称之为上下文。这些历史搜索包含有关用户真正购物意图的上下文见解。因此，对此类上下文信息进行建模对于更好的查询重写模型至关重要。但是，现有的查询重写模型忽略了用户的历史行为，而仅考虑即时搜索查询，这通常是一个简短的字符串，提供有关真实购物意图的有限信息。我们建议一个端到端的上下文感知查询重写模型来弥合此差距，从而考虑了搜索上下文。具体而言，我们的模型使用历史记录搜索查询及其包含的单词构建了会话图。然后，我们采用图形注意机制，该机制对交叉关系进行建模并计算会话的上下文信息。随后，模型通过使用聚合网络将上下文信息与即时搜索查询组合来计算会话表示。然后将会话表示形式解码以生成重写的查询。从经验上讲，我们证明了我们方法对各种指标下最先进的方法的优越性。在从线购物平台的内部数据上，通过介绍上下文信息，我们的模型在MRR（平均值等级）指标下取得了11.6％的改善，并在HIT@16度量指标（命中率指标）下提高了20.1％使用最佳基线方法（基于变压器的模型）。

已经提出了图形神经网络（GNN）预训练方法来增强GNN的能力。具体而言，首先在大规模的未标记图上预先训练GNN，然后在单独的小标记图上进行微调，以用于下游应用程序，例如节点分类。一种流行的预训练方法是掩盖一部分边缘，并接受了GNN的培训以恢复它们。但是，这种生成方法遭受了图不匹配。也就是说，输入到GNN偏离原始图的蒙版图。为了减轻此问题，我们提出了DIP-GNN（图神经网络的歧视性预训练）。具体来说，我们训练一个发电机以恢复蒙版边缘的身份，同时，我们训练一个判别器，以区分生成的边缘与原始图的边缘。在我们的框架中，鉴别器看到的图形更好地匹配原始图，因为生成器可以恢复蒙版边缘的一部分。大规模同质和异质图的广泛实验证明了该框架的有效性。

点过程模型在现实世界应用中非常重要。在某些关键应用程序中，对点过程模型的估计涉及来自用户的大量敏感个人数据。隐私问题自然出现了现有文献中未解决的问题。为了弥合这一明显的差距，我们提出了第一个针对点过程模型的第一个一般差异私人估计程序。具体来说，我们以霍克斯的流程为例，并根据霍克斯流程的离散表示，为事件流数据引入了严格的差异隐私定义。然后，我们提出了两种差异性优化算法，可以有效地估算霍克斯流程模型，并在两个不同的设置下具有所需的隐私和公用事业保证。提供实验以支持我们的理论分析。

深度学习（DL）逆技术增加了人工电磁材料（AEM）设计的速度，提高了所得装置的质量。许多DL逆技术在多个AEM设计任务中成功地成功，但要比较，对比度和评估各种技术，澄清逆问题的潜在弊端是至关重要的。在这里，我们审查最先进的方法，并对深度学习逆方法进行全面调查，对AEM设计进行深度学习逆方法和可逆和有条件可逆的神经网络。我们可以轻松访问和快速可实现的AEM设计基准，该基准提供了一种有效地确定最适合解决不同设计挑战的DL技术的方法。我们的方法是通过对重复模拟的限制和易于集成度量的限制，我们提出的是任何AEM设计问题的相对弊端。我们表明，由于问题变得越来越弊，无论模拟约束如何，带有边界损耗（NA）的神经伴随都会产生更好的解决方案。在简单的AEM设计任务中，当模拟有限时，直接神经网络（NN）更好，而混合密度网络（MDN）和条件变化自动编码器（VAE）预测的几何形状可以通过持续的采样和重新模拟来改进。

许多物理系统由普通的或部分微分方程描述，其解决方案由复杂域中的全象或亚纯函数给出。在许多情况下，只有在纯虚拟JW轴上的各个点上只观察到这些功能的大小，因为它们的阶段的相干测量通常是昂贵的。然而，期望在可能的情况下从幅度中检索丢失的阶段。为此，我们提出了一种基于Blaschke产品的物理漏险的深神经网络，用于相位检索。灵感来自赫尔森和Sarason定理，我们使用Blaschke产品神经网络（BPNN）来恢复Blaschke产品的合理功能系数，基于输入作为输入的幅度观察。然后使用得到的Rational函数进行相位检索。我们将BPNN与常规深度神经网络（NNS）进行比较多相检索问题，包括合成和当代的现实世界问题（例如，数据收集需要大量专业知识的超材料，并且耗时）。在每个阶段检索问题上，我们与不同尺寸和超参数设置的传统NNS群体进行比较。即使没有任何超参数搜索，我们发现BPNNS始终如一地优于稀缺数据场景中优化NNS的群体，并且尽管模型更小。结果又可以应用于计算超材料的折射率，这是物质科学新兴领域的重要问题。

与函数近似（特别是神经网络）结合轨迹优化的最新进步在机器人系统中为学习复杂的控制策略提供了许可。尽管具有极大的灵活性，但参数化控制政策的大型神经网络造成了重大挑战。学习的神经控制政策通常超越和非平滑，这很容易引起意外或发散的机器人运动。因此，他们经常在实践中产生较差的概括性表现。为了解决这个问题，我们提出了通过轨迹优化（Veronica）为引导的对抗的正常规则学习，以学习顺利控制政策。具体地，我们所提出的方法通过稳定对输入状态的最坏情况扰动来稳定输出控制来控制神经控制政策的平滑度（本地Lipschitz连续性）。我们对机器人操纵的实验表明，我们的建议方法不仅可以提高神经政策学习的样本效率，而且还提高了对各种类型的骚乱的鲁棒性，包括传感器噪声，环境不确定性和模型不匹配。

Deep learning models can achieve high accuracy when trained on large amounts of labeled data. However, real-world scenarios often involve several challenges: Training data may become available in installments, may originate from multiple different domains, and may not contain labels for training. Certain settings, for instance medical applications, often involve further restrictions that prohibit retention of previously seen data due to privacy regulations. In this work, to address such challenges, we study unsupervised segmentation in continual learning scenarios that involve domain shift. To that end, we introduce GarDA (Generative Appearance Replay for continual Domain Adaptation), a generative-replay based approach that can adapt a segmentation model sequentially to new domains with unlabeled data. In contrast to single-step unsupervised domain adaptation (UDA), continual adaptation to a sequence of domains enables leveraging and consolidation of information from multiple domains. Unlike previous approaches in incremental UDA, our method does not require access to previously seen data, making it applicable in many practical scenarios. We evaluate GarDA on two datasets with different organs and modalities, where it substantially outperforms existing techniques.